iT邦幫忙

2026 iThome 鐵人賽

DAY 26
0

目前的系統可以看成兩個部分。

第一個部分是:讓電腦找到人體。

這部分我們使用 MediaPipe Pose Landmarker,從攝影機影像中取得肩膀、髖部、膝蓋、腳踝等人體關鍵點。
也就是把原本的影像:「一個人在做動作」
轉換成電腦比較容易處理的:「一組人體座標資料」。

第二個部分則是:這些人體座標代表什麼?
例如在蚌殼式裡,我們想知道:

  • 膝蓋有沒有打開到設定範圍?
  • 骨盆有沒有出現明顯旋轉?
  • 使用者有沒有完成一整次動作?
    目前這部分,我比較傾向先使用「規則式判斷」。
    例如:
    如果膝蓋離開起始位置超過一定範圍
    → 判斷動作開始。

如果膝蓋到達目標範圍
→ 判斷已經打開。

如果髖部的位置變化超過設定範圍
→ 標記可能出現骨盆旋轉。

這樣做有一個很大的好處:
每一個判斷都比較容易知道原因。
例如系統提示:「請保持骨盆穩定。」
我們可以回頭知道,是因為哪一組關鍵點、哪一個角度或哪一個數值超過設定條件。
如果一開始就直接訓練一個模型,輸入影片後只得到:
「正確」或「錯誤」
雖然看起來很方便,但我們還需要大量有標記的動作資料。
例如:

  • 哪些影片是正確蚌殼式?
  • 哪些是骨盆旋轉?
  • 旋轉到什麼程度算需要提醒?
  • 不同身形的人又該怎麼分類?
    這些資料都需要先收集、整理和標記。
    對目前專題階段來說,先從規則開始,可以比較清楚地確認:
    到底是哪一個條件在影響最後的判斷。
    而且規則式和 AI 其實不一定只能選一個。
    未來如果累積了足夠的動作資料,也可以變成:
    MediaPipe

    取得人體關鍵點

    把關鍵點、角度、動作變化整理成特徵

    再交給機器學習模型判斷動作類型或異常模式
    真正重要的是,每一個技術到底適不適合解決目前遇到的問題。

上一篇
前面那些功能,在程式裡到底怎麼串起來。
下一篇
看得見動作,就代表看得見所有問題嗎?
系列文
基於人體姿態估測與個人化代償分析之居家復健動作輔助系統30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言